from boss_spider import BossSpider

def main():
    print("开始爬取Boss直聘合肥市前端岗位信息...")

    # 创建爬虫实例
    spider = BossSpider()

    # 设置爬取参数
    spider.city_code = '101220100'  # 合肥市的城市代码
    spider.query = '前端'  # 搜索关键词

    # 开始爬取
    print("开始爬取数据，请确保已在boss_spider.py中填入有效的Cookie...")
    spider.crawl(max_pages=10)  # 爬取10页数据

    # 保存数据
    spider.save_to_csv(filename='合肥前端岗位.csv')
    spider.save_to_json(filename='合肥前端岗位.json')

    print("爬取完成！数据已保存到output目录下")

if __name__ == '__main__':
    main()